و بهر حال رشيد به خوبى دانست كه تدبير يحيى برمكى او را به تخت خلافت رسانده و او يك خليفه دست نشانده و تخت نشانده يحيى است و از اين رو يحيى نفوذ كاملى در دستگاه هرون پيدا كرد و حزب ايرانيان بر خلافت رشيد تسلط كامل يافتند و دسته مخالف عقب نشستند و دو پسر رشيد يحيى كه جعفر و فضل بودند تسلط كامل بر اوضاع يافتند و طرفداران خود را به كارهاى كشورى گماشتند و گروه ربيع حاجب كه اكنون رهبر آنها فضل بن ربيع بود نفوذ خود را از دست دادند و به كارهاى درجه دوم وادار شدند . مسعودى در ص 348 ج 3 مروج نامبرده گويد : و چون خلافت برشيد رسيد يحيى بن خالد را طلبيد و به او گفت : پدر جان تو با بركت و ميمنت و تدبير خود مرا بر اين تخت نشاندى و من كارها را به تو سپردم و خاتم خود را به دو تسليم كرد . و همه امور خلافت هارون زير دست يحيى و فرزندانش افتاد و آنان با لياقت و كاردانى خود امور قلمرو خلافت هارونى را كه از افريقا تا مرزهاى چين گسترده بود به خوبى اداره كردند و دوران آنها دوران طلائى تاريخ اسلام است از نظر سياست و فرهنگ و در اين دورانى كه در حدود 18 سال بدرازا كشيد حزب ايرانيان به خوبى پيش آمدند و كار برامكه بالا گرفت و بقول مسعودى ص 384 ج 3 مروج نامبرده خود جعفر بن يحيى بن خالد بن برمك و يحيى بن خالد و فضل و ديگران از برمكيان ببالاترين تسلط و والاترين رياست دست يافتند و همه كارها براشان استوار شد تا گفتند روزگارشان همه عروسى و شادى پيوسته و بىپايانست تا آنجا كه هارون به جعفر گفت هيچ چهره‌اى در اين جهان ديدارش براى من دلنشين‌تر از چهره تو نيست . ولى با اين وضع حزب مخالف در پس ديوار بيكار نبودند و براى دور كردن برمكيان نقشه ميكشيدند و زبيده سوگلى حرمسراى هارون بانوئى تيزهوش و پر غرور بود و در حقيقت رئيس ستاد حزب مخالف بود و پيوسته از برمكيان نزد هارون شكوه ميكرد و آنان را نزد وى نكوهش ميكرد زيرا يحيى برمكى ناظر حرمسراى هارون